const http = require('http');
const fs = require('fs');
// cheerio模块是第三方模块：可以读取html，然后类似jq来操作html
// 1. 需要安装cheerio
// 2. 引入cheerio模块
// 3. 通过cheerio的load方法加载html就可以类似jq操作了
const cheerio = require('cheerio');

// http可以通过get方法模拟 浏览器发送get请求，请求网页的数据
// http只能请求http的地址；
let weburl = 'http://www.atguigu.com';
// let cssurl = "http://www.atguigu.com/js/swiper/dist/css/swiper.min.css"

http.get(weburl,req=>{
    // req就是请求到的对象；
    // 数据就是以流的形式传递的；
    // 监听 req的流数据
    let str = '';
    req.on('data',chunk=>{
        str += chunk;
    })
    req.on('end',()=>{
        // console.log(str);
        // fs.writeFileSync("./index.html",str);
        let $ = cheerio.load(str);
        let arr = [];
        let num = 1;
        $('.new .con .rr li a').each((key,item)=>{
            let txt = $(item).text();
            // console.log(txt);
            let obj = {
                id:num,
                content:txt
            }
            arr.push(obj);
            num++;
        })
        console.log(arr);
        fs.writeFileSync('./data.json',JSON.stringify(arr));
    })
})